|
前期回顾，关于python基础知识以及爬虫基础我们可以看 ——> python学习手册，网络安全的小伙伴千万不要错过。
图片爬取思路
学会这一技能需要我们会python基础，xpath解析，其用来解析出网页中图片所在的地址。解析出来地址就需要我们保存图片了。那如何将一张张图片保存下来了？我们可以使用requests的响应对象属性content来获取图片的二进制数据。接着就使用with open()函数进行保存就行了，这样一张图片就获取到了。是不是很简单了！
获取网页源代码解析出图片地址获取图片二进制数据 requests.get(xx).content生成图片名称设置图片的保存地址=文件地址+图片名称保存图片 with open(图片保存地址,'wb') as f:
思路分析
网站地址为：4K美女壁纸_高清4K美女图片_彼岸图网
1. xpath提取图片地址
如下查看元素我们发现，所有的图片地址都是包含在一个个的li标签中，li标签中又有a标签和img标签，而图片地址就为img标签中的src的属性值，所以我们提取出属性值就能将图片地址获取。
但是这样只是获取到的略缩图的地址，我们点击图片进行后发现存在比原来图片像素更高的图片。所以我们这里就获取更加高清的美女图片。
所以接下来就分析略缩图与其高清图之间的关系。我们发现略缩图中href的属性值就是请求高清图所在页面的地址。所以我们这里将href属性值获取然后向其发送请求就能获取到高清图所在源码，然后用xpath将高清图下载地址提取出来，就能够成功下载了。
代码编写
import requests
import os
from lxml import etree
headers={
'User-Agent':'Mozilla/5.0 (Linux; Android 6.0; Nexus 5 Build/MRA58N) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.75 Mobile Safari/537.36'
}
#实现爬取前10页略缩图片地址，并存放在列表中
def lue():
list_lue = []
for i in range(1,11):
if i > 1:
url = f'https://pic.netbian.com/4kmeinv/index_{i}.html'
else:
url = 'https://pic.netbian.com/4kmeinv/index.html'
response_text = requests.get(url,headers=headers,timeout=15).text
#实例化etree对象
tree = etree.HTML(response_text)
#提取出高清图所在页面地址
r = tree.xpath('//ul[@class="clearfix"]/li/a/@href')
for i in r:
list_lue.append(i)
return list_lue
#获取高清图下载地址及名称
def gao(b):
if not os.path.exists('./高清美女'):
os.mkdir('./高清美女')
for i in b:
url = "https://pic.netbian.com"+i #高清图所在页面地址
response = requests.get(url=url,headers=headers,timeout=15)
response.encoding = 'gbk' #解决中文乱码
response_text = response.text
response_text
tree = etree.HTML(response_text)
#最终高清图的下载地址
img_src = 'http://pic.netbian.com'+ tree.xpath('//div[@class="photo-pic"]/a/img/@src')[0]
#图片名
img_name = tree.xpath('//div[@class="photo-pic"]/a/img/@title')[0]
#获取图片二进制数据
img_content = requests.get(img_src,headers=headers,timeout=3).content
img_path = './高清美女/'+img_name+'.jpg'
with open(img_path,'wb') as f:
f.write(img_content)
print(img_name+'.jpg下载完毕')
print("美女图片全部下载完毕！")
def main():
b = lue()
gao(b)
if __name__ == '__main__':
main()
欢迎有志青年和我一起学习
|